Harness Scaling for Generalizable Agentic Reinforcement Learning
面向通用 Agent 强化学习的 Harness Scaling 方法
🧭 Agentic RL · Harness 缩放训练 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research · Beihang University
将 agent 执行 harness 因子化并正交选择 18 个训练配置，跨 harness RL 显著提升未见配置与外部黑盒泛化
📌 工作参考价值（4 点）
- 在训练搜索/推荐/电商 Agent 时，不要只用单一 harness；可对同一任务构造多个执行配置变体（system prompt、工具 schema、观察格式、上下文压缩策略、workflow 约束），提升策略对生产环境变化的鲁棒性。
- 如果 harness 组合空间过大，可用 strength-2 正交设计从组合爆炸中选训练子集，保证各组件 realization 及两两组合均衡覆盖；在固定训练预算下，这比随机采样或全量穷举更好。例如推荐 Agent 的 prompt 模板、召回通道、排序特征视图、记忆压缩等维度都可以做正交选择。
- 采用 locality-aware assignment：每个训练任务采样一个 anchor harness，再配 1-2 个 Hamming 距离最近的 harness，既保留同任务局部变化，又全局覆盖多个配置；实验表明 K=2 效果最佳，且优于随机 assignment。
- 关键结论可直接迁移：在白盒多 harness 配置上训练，迁移到未见外部黑盒 harness（如 Claude Code）的效果，优于直接在该黑盒 harness 上做 SFT 或 RL。适合冷启动、跨平台迁移、多租户 Agent 系统。